标签：weight decay
-
归一化的不变性与尺度解耦LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。
LayerNorm/RMSNorm 对缩放不变的参数有 ∇f·w=0 的几何性质，权重衰减因此变成隐式学习率调度；推导尺度不变参数的有效学习率公式，解释为什么这类网络对 weight decay 异常敏感。